In the current person Re-identification (ReID) methods, most domain generalization works focus on dealing with style differences between domains while largely ignoring unpredictable camera view change, which we identify as another major factor leading to a poor generalization of ReID methods. To tackle the viewpoint change, this work proposes to use a 3D dense pose estimation model and a texture mapping module to map the pedestrian images to canonical view images. Due to the imperfection of the texture mapping module, the canonical view images may lose the discriminative detail clues from the original images, and thus directly using them for ReID will inevitably result in poor performance. To handle this issue, we propose to fuse the original image and canonical view image via a transformer-based module. The key insight of this design is that the cross-attention mechanism in the transformer could be an ideal solution to align the discriminative texture clues from the original image with the canonical view image, which could compensate for the low-quality texture information of the canonical view image. Through extensive experiments, we show that our method can lead to superior performance over the existing approaches in various evaluation settings.

The goal of 3D pose transfer is to transfer the pose from the source mesh to the target mesh while preserving the identity information (e.g., face, body shape) of the target mesh. Deep learning-based methods improved the efficiency and performance of 3D pose transfer. However, most of them are trained under the supervision of the ground truth, whose availability is limited in real-world scenarios. In this work, we present X-DualNet, a simple yet effective approach that enables unsupervised 3D pose transfer. In X-DualNet, we introduce a generator $G$ which contains correspondence learning and pose transfer modules to achieve 3D pose transfer. We learn the shape correspondence by solving an optimal transport problem without any key point annotations and generate high-quality meshes with our elastic instance normalization (ElaIN) in the pose transfer module. With $G$ as the basic component, we propose a cross consistency learning scheme and a dual reconstruction objective to learn the pose transfer without supervision. Besides that, we also adopt an as-rigid-as-possible deformer in the training process to fine-tune the body shape of the generated results. Extensive experiments on human and animal data demonstrate that our framework can successfully achieve comparable performance as the state-of-the-art supervised approaches.

In this paper we present a novel multi-attribute face manipulation method based on textual descriptions. Previous text-based image editing methods either require test-time optimization for each individual image or are restricted to single attribute editing. Extending these methods to multi-attribute face image editing scenarios will introduce undesired excessive attribute change, e.g., text-relevant attributes are overly manipulated and text-irrelevant attributes are also changed. In order to address these challenges and achieve natural editing over multiple face attributes, we propose a new decoupling training scheme where we use group sampling to get text segments from same attribute categories, instead of whole complex sentences. Further, to preserve other existing face attributes, we encourage the model to edit the latent code of each attribute separately via an entropy constraint. During the inference phase, our model is able to edit new face images without any test-time optimization, even from complex textual prompts. We show extensive experiments and analysis to demonstrate the efficacy of our method, which generates natural manipulated faces with minimal text-irrelevant attribute editing. Code and pre-trained model will be released.

很少有分段旨在学习一个细分模型，该模型可以推广到只有几个培训图像的新课程。在本文中，我们提出了一个交叉引用和局部全球条件网络（CRCNET），以进行几次分割。与以前仅预测查询图像掩码的作品不同，我们提出的模型同时对支持图像和查询图像进行了预测。我们的网络可以更好地在两个图像中使用交叉引用机制找到同时出现的对象，从而有助于少量分割任务。为了进一步改善功能比较，我们开发了一个局部全球条件模块，以捕获全球和本地关系。我们还开发了一个掩模修补模块，以重新完善前景区域的预测。Pascal VOC 2012，MS Coco和FSS-1000数据集的实验表明，我们的网络实现了新的最新性能。

由于其广泛的应用，尤其是在现场理解领域，因此在3D点云上进行的实例细分一直在吸引越来越多的关注。但是，大多数现有方法都需要完全注释培训数据。在点级的手动准备地面真相标签非常繁琐且劳动密集型。为了解决这个问题，我们提出了一种新颖的弱监督方法RWSEG，该方法仅需要用一个点标记一个对象。有了这些稀疏的标签，我们使用自我注意事项和随机步行引入了一个带有两个分支的统一框架，分别将语义和实例信息分别传播到未知区域。此外，我们提出了一个跨画竞争的随机步行（CGCRW）算法，该算法鼓励不同实例图之间的竞争以解决紧密放置对象中的歧义并改善实例分配的性能。 RWSEG可以生成定性实例级伪标签。 Scannet-V2和S3DIS数据集的实验结果表明，我们的方法通过完全监督的方法实现了可比的性能，并且通过大幅度优于先前的弱监督方法。这是弥合该地区弱和全面监督之间差距的第一项工作。

单视图3D对象重建是一项基本且具有挑战性的计算机视觉任务，旨在从单视RGB图像中恢复3D形状。大多数现有的基于深度学习的重建方法都是​​在同一类别上培训和评估的，并且在处理训练过程中未见的新颖类别的物体时，它们无法正常工作。本文着眼于这个问题，解决了零照片的单视3D网格重建，以研究对看不见类别的模型概括，并鼓励模型从字面上重建对象。具体而言，我们建议一个端到端的两阶段网络Zeromesh，以打破重建中的类别边界。首先，我们将复杂的图像到网格映射分解为两个较简单的映射，即图像对点映射和点对点映射，而后者主要是几何问题，而不是对象类别的依赖。其次，我们在2D和3D特征空间中设计了局部特征采样策略，以捕获跨对象共享的局部几何形状，以增强模型概括。第三，除了传统的点对点监督外，我们还引入了多视图轮廓损失以监督表面生成过程，该过程提供了其他正则化，并进一步缓解了过度拟合的问题。实验结果表明，我们的方法在不同方案和各种指标下，特别是对于新颖对象而言，在Shapenet和Pix3D上的现有作品显着优于Shapenet和Pix3D的现有作品。

本文研究了一个开放的研究问题，即生成文本图像对，以改善细粒度对文本跨模式检索任务的训练，并通过发现stylegan2模型的隐藏语义信息，为配对数据增强的新颖框架提出了一个新颖的框架。 。具体来说，我们首先在给定数据集上训练stylegan2模型。然后，我们将真实图像投影回stylegan2的潜在空间，以获取潜在的代码。为了使生成的图像可操作，我们进一步引入了一个潜在的空间对齐模块，以了解StyleGAN2潜在代码和相应的文本字幕功能之间的对齐。当我们进行在线配对数据增强时，我们首先通过随机代码替换生成增强文本，然后将增强文本传递到潜在的空间对齐模块中以输出潜在代码，最终将其馈送到stylegan2以生成增强图像。我们评估了增强数据方法对两个公共跨模式检索数据集的功效，其中有希望的实验结果表明，可以将增强的文本图像对数据与原始数据一起训练，以增强图像到文本交叉 - 模态检索性能。

在本文中，我们调查了一项开放的研究任务，该任务是从单个2D GAN产生人体面部且没有3D监督的3D卡通面部形状，在那里我们还可以操纵3D形状的面部表情。为此，我们发现了Stylegan潜在空间的语义含义，因此我们能够通过控制潜在代码来产生各种表达式，姿势和照明的面部图像。具体而言，我们首先对卡通数据集中预验证的Stylegan脸部模型进行了修复。通过将相同的潜在代码喂入面部和卡通生成模型，我们的目标是实现从2D人脸图像到卡通风格的化身的翻译。然后，我们发现了甘恩潜在空间的语义方向，以试图在保留原始身份的同时改变面部表情。由于我们没有任何针对卡通脸的3D注释，因此我们操纵潜在代码以生成具有不同姿势和照明的图像，以便我们可以重建3D卡通脸部形状。我们在定性和定量上验证了方法在三个卡通数据集上的疗效。

弱监督的点云分段，即，由于在整个3D场景中只有几个标记点的点云，因此由于为模型训练收集丰富的密集注释的沉重负担，因此是非常可取的。但是，由于有限的注释数据可能导致标签传播的指导不足，因此现有方法仍然具有挑战性，无法准确细分3D点云。考虑到基于平滑度的方法已经取得了令人鼓舞的进步，在本文中，我们主张在各种扰动下应用一致性约束，以有效地正规化未标记的3D点。具体而言，我们提出了一个新颖的dat（\ textbf {d} ual \ textbf {a} dappive \ textbf {t} ransformations模型，用于弱监督点云进行分割，其中双重自适应转换是通过两种对敌方策略在点 - 级别和区域级别，旨在在3D点云上执行局部和结构平滑度约束。我们在大规模S3DIS和SCANNET-V2数据集上使用两个流行的骨干评估了我们提出的DAT模型。广泛的实验表明，我们的模型可以有效地利用未标记的3D点并在两个数据集上实现显着的性能增长，从而为弱监督的点云进行了新的最新性能。

很少有开放式识别旨在对可见类别的培训数据进行有限的培训数据进行分类和新颖的图像。这项任务的挑战是，该模型不仅需要学习判别性分类器，以用很少的培训数据对预定的类进行分类，而且还要拒绝从未见过的培训时间出现的未见类别的输入。在本文中，我们建议从两个新方面解决问题。首先，我们没有像在标准的封闭设置分类中那样学习看到类之间的决策边界，而是为看不见的类保留空间，因此位于这些区域中的图像被认为是看不见的类。其次，为了有效地学习此类决策边界，我们建议利用所见类的背景功能。由于这些背景区域没有显着促进近距离分类的决定，因此自然地将它们用作分类器学习的伪阶层。我们的广泛实验表明，我们提出的方法不仅要优于多个基线，而且还为三个流行的基准测试（即Tieredimagenet，Miniimagenet和Caltech-uscd Birds-birds-2011-2011（Cub））设定了新的最先进结果。